CONSEJO NACIONAL DE EDUCACIÓN 
CHILE 


CONSEJO NACIONAL DE EDUCACION 


ACTA N° 173 

La sesión ordinaria N° 136 del Consejo Nacional de Educación se realizó el miércoles 4 
de septiembre de 2013. Presidió la sesión el Presidente, Ignacio Irarrázaval. Asistieron, 
además, los consejeros Roberto Guerrero, Carmen Norambuena, Pedro Montt, Pedro 
Rosso, Lorna Prado, Jorge Toro y José Weinstein. Excusaron su asistencia Francisca 
Dussaillant y Alejandro Mackay. Actuó como ministro de fe de la sesión, la Secretaria 
Ejecutiva, Fernanda Valdés, y como secretaria de actas, Ana Luisa Neira. 

Se dio inicio a la sesión ordinaria N° 136 a las 12:30 horas. 


1. Acta de sesiones anteriores. 

La Secretaria Ejecutiva solicitó dejar pendiente el acta de 28 de agosto, pues se 
encuentra en elaboración. 

Los consejeros aprobaron el acta de 31 de julio de 2013, sin observaciones. 


2. Cuenta. 

a) La Secretaria Ejecutiva informó que la Comisión Nacional de Acreditación acogió 
el recurso de reposición presentado por la Universidad Católica en relación con el 
rechazo de acreditación del Doctorado en Derecho, por lo que no habrá apelación 
ante el CNED. 

b) La Secretaria Ejecutiva informó que la Universidad de Santiago presentó un 
recurso de apelación contra la decisión de la Comisión Nacional de Acreditación 
de no acreditar el Magister en Economía Financiera. 

c) La señora Valdés informó haber tomado conocimiento, a través de la Universidad 
Bernardo O’Higgins, que la Comisión Nacional de Acreditación objetó el uso de su 
logo institucional en la publicidad de acreditación de esa entidad. Agregó que la 
Universidad anunció que solicitará formalmente que se le indique el modo de 
difundir su situación de acreditación, de modo de no vulnerar la regulación vigente, 
cuestión que planteará a la CNA y a este Consejo. 
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3. Metodología de Ordenación de Establecimientos (MOE). 

a) Síntesis de proceso de evaluación. 

La Secretaria Ejecutiva dio cuenta de los principales aspectos de la evaluación de los 
consultores externos (antecedentes punto 3), nacionales e internacionales. Se refirió a las 
observaciones relativas al concepto de calidad, al modelo estadístico, a la composición 
del índice sin corregir, a las características de los estudiantes, a la estabilidad de las 
categorías de ordenación, a la imputación de datos, a la estrategia comunicacional para 
informar la ordenación, a la implementación de la Metodología y sus consecuencias en el 
sistema. 

Asimismo, la señora Valdés dio cuenta de los aspectos relevados en el trabajo con grupos 
focales con sostenedores y directivos de establecimientos (antecedentes punto 3), 
respecto de aspectos específicos de la Metodología, como la opinión de uso e impacto de 
la ordenación en las escuelas. 

Finalmente, la señora Valdés presentó la estructura del informe definitivo que se enviará a 
la Agencia. 

Los consejeros acordaron que el informe preliminar sea un resumen de las consultas que 
surgen de la revisión efectuada hasta ahora de la MOE, diferenciando las materias 
legales, prácticas y técnicas a consultar. 

b) Exposición de invitados. 

De acuerdo con el procedimiento definido por el Consejo para analizar la propuesta de 
Metodología de Ordenación de Establecimientos presentada por la Agencia de la Calidad, 
asistieron a esta parte dos de los consultores nacionales encargados de evaluar la 
propuesta por parte del Consejo, cuyos informes han sido integrados a la revisión del 
Consejo (antecedentes de sesión punto 3). Asistió, además, la Jefa del Departamento de 
Educación Escolar, señora Elisa de Padua. 

a) Presentación del señor Jorge Manzi. 

Luego de agradecer la oportunidad de dialogar con el Consejo, el señor Manzi planteó las 
principales observaciones a la Metodología de Ordenación, en conformidad con una 
presentación anexa a esta acta, referidas al índice de calidad, al manejo de variables de 
contexto, manejo de datos faltantes, y la dinámica de responsabilización basada en 
pruebas, indicando sus recomendaciones respecto de cada uno de los aspectos 
observados. Finalmente, el señor Manzi señaló que, en su opinión, la Metodología 
requiere cambios para ser aprobada y que resulta recomendable que el sistema opere en 
“marcha blanca” durante los primeros años de funcionamiento. 

Enseguida, los consejeros consultaron sobre si el modelamiento de escuela que se 
espera se evidencia en la MOE; la opinión sobre los filtros aplicados en la Metodología; si 
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es factible una marcha blanca sln consecuencias, con el fin de monitorear la Metodología, 
y acerca de la forma en que se maneja actualmente el error que se produce con la 
categorizaclón a partirdel SIMCE. 

Al respecto, el señor Manzi indicó que se trata de un modelo que clasifica enfocándose en 
los resultados, sin hacerse cargo de procesos. Agregó que pueden existir varios modelos 
de escuela efectiva, indicando que lo importante es que la escuela comprenda qué tiene 
que hacer para mejorar. Indicó que el modelamiento adecuado es el que reconoce 
aspectos de la escuela. 

En relación con los filtros, el señor Manzi indicó, en esta etapa, no constituyen el aspecto 
más cuestionable de la Metodología. Señaló que su función es proteger a los 
establecimientos que están en los límites de la clasificación. 

Recomendó una marcha blanca de cinco u ocho años, con el fin de revisar la Metodología 
y hacer ajustes en los aspectos que no estén dando resultados. 

Finalmente, el señor Manzi indicó que la creación de puntos de corte es un mecanismo de 
información y que se han aplicado desde siempre con ese fin. Señaló que es diferente 
usar esa información como la base principal de un sistema de responsabilización de 
escuelas. Precisó que los puntos de corte no son técnicos sino más bien políticos. Señaló 
que es un problema asignarles en la ordenación tanta importancia únicamente a los 
puntos de corte. 

Luego de respondidas las consultas, el señor Manzi se retiró de la sesión. 

b) Presentación del señor Francisco Gallego. 

El señor Gallego expuso los principales aspectos de su evaluación respecto de la 
Metodología de Ordenación de Establecimientos, en conformidad con una presentación 
anexa a esta acta. Se refirió a su experiencia profesional para abordar este tema y al 
contexto en el que se inserta su evaluación, enfatizando que existe un escenario ideal y 
uno posible para la formulación de la MOE. Indicó que la ordenación es un proceso 
gradual, en el que existen instancias de aviso y apoyo al establecimiento para que mejore, 
de manera previa a concretar sanciones. 

Se refirió a la fundamentación de la propuesta; a la coherencia extema; a la metodología 
de elaboración; características de los estudiantes; uso de resultados, y a la comunicación 
y seguimiento de la MOE. 

Enseguida, los consejeros consultaron: si la clasificación en tres categorías que contiene 
el índice de calidad aumentaría el margen de error que tiene el SIMCE; si al transformar 
las variables en escalas de 0 a 100 se generan distorsiones en los datos; s¡ la 
categorización de la MOE empalma con el SIMCE de modo que sea comparable con años 
anteriores, considerando los cambios del currículum; si la elección del modelo se sustenta 
en una comparación en que los modelos HLM y CMO estén bien especificados; si en el 
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modelo estadístico propuesto es posible identificar el mínimo de calidad requerido, 
independiente de las correcciones por características socioeconómicas, de manera que 
no hayan diferentes conceptos de calidad dependiendo del tipo de establecimiento. 
Asimismo, consultaron si la fijación del 12% de los establecimientos en categoría 
insuficiente que contiene el modelo es una determinación arbitraria o se encuentra 
validada técnicamente. 

Sollcitaron, además, que se profundice en los estudios intemacionales que indican que el 
foco en medición de resultados académicos tiene externalidades positivas y no produce 
estrechamiento curricular. Al respecto, el señor Gallego indicó que se trata de un estudio 
realizado en India, en que se concluye que no hay evidencia causal de que la promoción 
de sanciones incida negativamente en los resultados. 

En cuanto al índice de calidad, el señor Gallego indicó que existe un margen de error o 
discontinuidad, siendo deseable conocer la simulación, para determinar cuántas escuelas 
están cercanas a los saltos de una categoría a otra, y si el cambio de estándares aminora 
o resuelve la discontinuidad. Señaló que la ponderación de escalones es una decisión 
normativa. Planteó que el informe no es demasiado claro en este aspecto. 

Respecto del re-escalamiento, el señor Gallego valoró la transformación de la escala, con 
el fin de comunicarla a la sociedad. Agregó que, matemáticamente, la transformación es 
un cambio de escala, planteando que el error en estándar no tiene efectos en la MOE, 
pues se necesita saber cómo se pondera. 

Respecto del empalme con el SIMCE, indicó que es interesante, planteando que el 
cambio año a año en los ponderadores no es sustantivo; no obstante, mantener las cosas 
estables también tiene valor. 

Respecto de los modelos estadísticos, indicó que existen varias formas de tomar el 
promedio de la calidad educativa, aislando las características de los alumnos; se pueden 
incluir variables a nivel individual, de sala, de colegio, etc. Señaló que es un problema a 
resolver la manera en que se recaba información, cómo se procesa y pondera. 

Agregó que los dos modelos tienen problemas y que el mapeo que se hace con ellos no 
es perfecto. Indicó que el efecto escuela, en cualquier modelo, es un elemento que no se 
conoce y que siempre debe inferirse a través de diferentes metodologías. El MCO captura 
el efecto escuela, partiendo de variables observables, calcula lo no observable a nivel de 
niño, promedia por niño, resultando el efecto escuela; en el modelo lineal, se supone que 
el efecto escuela se distribuye linealmente. La ventaja de la distribución lineal es que tiene 
menos error estándar. Indicó que el gran desafío es cómo se construye el efecto escuela; 
no resulta obvio cuál es el modelo que se debe emplear. 

Respecto de la corrección según grupo socioeconómico, el señor Gallego indicó que está 
la altemativa de no corregir, cuestión que se hace en otros países; no obstante, estimó 
necesario mantener un equilibrio, resguardando que la corrección sea dentro de niveles 
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aceptables que no generen una sensación de “autocomplacencia” cuando se observen 
resultados bajos en contextos socioeconómicos más desaventajados. 

Respecto del 12% de establecimientos clasificados en desempeño deficiente, el señor 
Gallego indicó que es una decisión normativa. 

Luego de respondidas las consultas, el señor Gallego se retiró de la sesión. 


4. Varios 

Bases curriculares de 7° básico a II medio, para asignaturas de Lengua y Literatura; 
Matemática, e Historia, Geografía y Ciencias Sociales. 

Síntesis de subcomisiones. 

La Secretaria Ejecutiva dio cuenta de la reunión de las subcomisiones de consejeros 
conformadas para la revisión preliminar de las bases curriculares, por asignatura, 
informando que cada subcomisión contó con profesionales de la Secretaría Técnica, como 
apoyo. Hizo una síntesis de las observaciones derivadas del trabajo de las subcomisiones 
de Lengua y Literatura; Matemática, e Historia, Geografía y Ciencias Sociales, en 
conformidad con las minutas anexas a esta acta. 


El Presidente del Consejo informó los puntos a tratar en la próxima sesión, sin que los 
consejeros manifestaran la existencia de conflictos de interés respecto de ellos. 

Finalmente, se encomendó a la Secretaría Técnica la redacción formal de todas las 
decisiones adoptadas en esta sesión, para su posterior comunicación a los interesados. 
Para tal efecto, se indicaron, en cada caso, los principales aspectos, observaciones y 
disposiciones que deben contener los respectivos acuerdos, oficios, informes o 
resoluciones. 

Siendo las 15:20 horas, se dio por concluida la sesión ordinaria N° 136 del Consejo Nacional 
de Educación y se fijó una próxima sesión ordinaria para el miércoles 11 de septiembre de 
2013, a las 12:00 horas. 
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Comentario a propuesta 
metodológica de ordenación de 
escuelas 

Jorge Manzi 
ProfesorTitularUC 
DirectorMIDE UC 
Santiago, Septiembre, 2013 
Presentación ante el Consejo Nacional de Educación 


Consideraciones iniciales 

• Concuerdo con la creación de un sistema de 
aseguramiento de la calidad 

• Estimo que es un avance muy importante contar con 
un sistema de ordenación de escuelas que se base en 
un concepto más integral de calidad educativa que uno 
centrado en pruebas como el SIMCE. 

• También valoro positivamente que la ordenación se 
construya atendiendo a la diversidad de contextos 
educativos existentes en nuestro país, controlando 
aspectos que no pueden ser atribuidos a la escuela 
(como la condición socioeconómica de los estudiantes 
y sus familias) 


1 





16-12-2013 


Tema abordados 

• Acerca del índice de calidad educativa 

• Acerca del control de variables contextuales 

• Acerca de los datos faltantes 

• Acerca de la dinámica de un sistema de 
responsabilización basado en pruebas 


índice de Calidad 


* El peso otorgado a la clasificación en 3 niveles de aprendizaje. 

- Pese a que la interpretación de la ley es que se debe emplear dicha distribución para 
asignar el 67% mínimo del SIMCE, hay severos problemas con ello: 

- La prueba no ha sido diseñada primariamente para identificar 3 niveles de logro. Su 
construcción maximiza la información en toda la escala, sin que exista una especial 
concentración de itemes en torno a los puntos de corte (de hecho, no sabemos el grado 
de precisión del SIMCE en esa región de puntaje). 

- Los puntos de corte se establecen con procedimientos establecidos, que no obstante el 
empeño que se haga en emplearlos adecuadamente, agregan error a la dasificación (lo 
que en la práctica degrada la información contenida en el puntaje SIMCE). 

- En la práctica se reduce un recorrido de más de 200 puntos a solo tres niveles (lo que de 
paso crea una falsa impresión de homogeneidad al interior de cada una de las 
categorías). 

- La asignación de puntajes a las 3 categorías es también cuestionable (0, 65 y 100 
puntos), al establecer una muy fuerte diferenciación entre los dos primeros niveles. 

• Recomendación : una combinación más equilibrada entre !os niveles de 
aprendizaje y los puntajes del SIMCE 
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índice de calidad 


• La transformación de puntajes de todas las variables a una escala 0-100 

- Dicha transformación pareciera facilitar la construcción de un índice global, al llevar 
todas las medidasa una misma escafa con tímítes deñnldos, Sin etnbargo, en la práctica 
esta decisión no produce ta equivalencta entre escalas que se btisca, puesto que no se 
controlan aspectos fundamentates de cada distribudón, como ei promedio y desviación 
estándar (ademásde ía asimelrra y curtosis). (ver Tabla en la siguiente lámina constmida 
a partir de los datos proporcionados en el informe) 

- Lo anterior tiene como consecuencia más seria que la ponderación real de cada variable 
no corresponde con la ponderación nominal, pues las escalas con mayor dispersión 
(desviación estándar) poseen una ponderación efectiva superior a la nominal. 

- La transformación también crea una impresión errónea de la posición promedio de las 
escuelas en el SIMCE (mayoritariamente superiores a 250 puntos, pero 
mayoritariamente por debajo de 50 en la escala transformada). Esto es difícil de explicar 
al sistema escolar, habituado a la escala centrada en 250 puntos. 

- El puntaje global, dada las diferencias de promedio y desviación estándar, tampoco es 
claro ni+iace sentido (en cuanto a orientar acciones para mejorar la situación de una 
escuela) 

• Recomendación : Revisar la forma en que se escalarán las variables y 
asegurar que el método empelado garantice que se cumplan las 
ponderaciones nominales. 


índice de Calidad: Promedioy Desviación 
estándar de indicadores de calidad 



Promedio 

Desv. Est* 

Nível SIMCE 

43,01 

13 h 53 

Purrtaje SIMCE 

48,05 

9,63 

Variación SIMCE 

53,70 

15,57 

Autoestima académíca y motivación 

56,90 

3,74 

Clima de Convivencia 

70,16 

4,98 

Participación y Formacíón dudadana 

72,83 

5,28 

Asistencia escoíar 

70,96 

12,91 

Equidad de género 

95,40 

12,78 

Retencion escolar 

93,79 

7,88 
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índice de calidad 


• Sobre los otros indicadores de calidad 

- No se entrega información que permita juzgar la validez de contenido ni la 
calidad mátrica de las mediciones seleccionadas (en ningún caso se informa la 
confiabilidad de las escalas construidas). 

- En el informe sobe estos indicadores sometido previamente al CNED se indica 
que en varios de los indicadores existe una conceptualización que identifica 
dimensiones, pero no se informa si tales dimensiones pudieron ser validadas 
empíricamente (por ejemplo, mediante análisis factorial). 

- La conceptualización de al menos algunos de estos indicadores admite 
revisión. Lo que se denomina "autoestima académica y motivación escolar" 
alude a conceptos que en la investigación psicológica son tratados en forma 
separada (conceptualizados como expectativas de autoeficacia acadámica y 
motivación de logro). La información revisada no permite entender s¡ hay base 
para crear un índice único a partir de ambos conceptos. 

* Recomendación : entregar antecedentes conceptuales sobre los 
indicadores y aportar evidencia empírica acerca su funcionamiento 
métrico (dimensionalidad y confiabilidad como mínimo). 


índice de calidad 

• Estabilidad del significado del índice de calidad 

- La propuesta asume que las puntuaciones del SIMCE y otros 
indicadores mantendrán su significado en el tiempo. Sin embargo, ello 
no está garantizado y se abren varias interrogantes: 

- ¿Cómo se manejará la necesidad de ajustar la equivalencia de 
puntajes en el SIMCE cuando se produzcan cambios curriculares? 

- ¿Qué plan existe para garantizar la estabilidad de los puntos de corte 
para establecer los niveles de aprendizaje? 

- ¿Cómo se manejarán los previsibles cambios que se produzcan en el 
significado de diversos indicadores como consecuencia de su uso para 
fines de responsabilización? 

• Recomendación : Incorporar a la metodología un apartado que se 
haga cargo de las complejidades asociadas a la mantención de 
escalas y puntos de corte en el tiempo, junto a una agenda de 
investigación para monitorear posibles cambios en el significado de 
las escalas en el tiempo. 
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Manejo de Variables de Contexto 


" Las variables seleccionadas son razonables y adecuadas al contexto nacional (de hecho, este 
apartado de la metodología entrega mayores antecedentes acerca de lasvariables 
empleadas). 

■ El problema aparece con la decisión acerca de la metodología estadística para identificar el 
"efecto de escuela" Se comparan modelos OLS y HLM, y se opta por los primeros. Esta 
decisión es altamente cuestionable por las siguientes consideraciones: 

- No se identifica un criterio de referencia que permita validar la decisión (ni siquiera se llevan a cabo 
simulaciones como las que son usuales en estadística para estos efectos). 

- No se especifican adecuadamente los modelos HLM (en ninguna de las tres versiones en que se los 
emplea). Por ejemplo, en todos los casos se emplean todas las variables de contexto en el nivel 
individual, lo que no corresponde (pues algunas son claramente a nivel de escuela, como la 
ruralidad). 

- No se discute un supuesto fundamental de la investigación educacional contemporánea, que 
establece que hay que reconocer la naturaleza anidada de los datos educativos al analizarlos (para lo 
que se han adoptado los modelos lineales jerárquicos). Si se opta por un modelo más simple (OLS) se 
requiere fundamentar muy potentemente por qué se resuelve ignorar el hecho que el residuo 
promedio que se emplea como estimador del "efecto escuela" en la práctica combina ese efecto con 
efectos idiosincráticos individuales. 

* Recomendación : revisar la decisión tomada, preferentemente estableciendo un panel de 
expertos (con representación de las diversas disciplinas con competencias en el análisis 
estadístico de datos educacionales) para resolver la mejor metodología para este contexto. 


Manejo de datos faltantes 


* En el anexo 7 se indican requisitos de los datos, y las reglas de imputación. En 
general se requiere un 40% de datos y se plantea como procedimiento de 
imputación el promedio de la variable. Todos estos aspectos admiten serios 
reparos: 

- Si se toman decisiones a partir de una proporción muy alta de datos faltantes, la calidad y 
representatividad de la ordenación quedará en duda. 

— La imputación de datos en el contexto del modelamiento estadístico es un ámbito en el que se 
recomienda tomar decisiones solo si se puede establecer el origen de la ausencia de datos (la 
imputación es más aceptable cuando el origen es aleatorio). 

- En general se desaconseja el uso del promedio como método de imputación, tanto porque es 
una opción muy gruesa, como porque reduce artificialmente la variabilidad de las escalas. 

- Más fundamental aun, la imputación no es para establecer cómo un individuo o una entidad 
habría respondido. Es para fines de modelamiento estadístico. En consecuencia, es 
cuestionable que se asignen valores individuales a individuos o escuelas, que luego sirvan para 
establecer una clasificación con consecuencias. 

* Recomendación : someter este tema a un juicio experto para establecer reglas 
acerca del mínimo de datos requeridos, análisis del origen de la ausencia de datos 
y empleo de imputación de datos (y las técnicas específicas recomendadas) 
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La dinámica de un sistema de 
responsabilización basado en pruebas 

• La experiencia internacional indica que los sistemas de responsabilización 
basados en prueba pueden desencadenar comportamientos estratégicos 
que afecten la validez de las mediciones (estrechamiento curricular, 
preparación para las pruebas, exclusión de estudiantes e incluso engaño). 
Al respecto, surgen las siguientes observaciones: 

- Para la primera implementación del sistema se cuenta con información obtenida en un 
contexto diferente (en que quienes respondían cuestionarios no conocían las 
consecuencias de los datos que estaban generando). Esto abre tanto dudas acerca de la 
pertinencia de recurrir a tales datos (además de su uso repetido para la primera 
ocasión), como a la muy probable modificación en los datos que se obtengan cuando se 
haga público el sistema de ordenación de escuelas. 

- El empleo de escalas autoadministradas es especialmente sensible a respuestas 
estratégicas de los examinados. Esta materia no es suficientemente abordada 

* Recomendación : establecer una agenda de estudios para monitorear la 
dinámica del sistema, estudiando especialmente potenciales 
comportamientos que afecten la validez de las mediciones. Se debe contar 
además, con un marco legal que permita hacer ajustes en la metodología 
si se detectan problemas con la calidad de la ordenación. 


Conclusión 


• El sistema de aseguramiento de calidad tiene una orientación 
adecuada, y debiera representar un avance relevante con respecto 
a la información hoy disponible. 

• Sin embargo, mi principal conclusión, a partir de los argumentos 
aquí expresados (y de los que se incluyen en el informe que envié al 
CNED), es que ia metodología sometida a revisión no puede ser 
aprobada sin que previamente se la corriia v meiore al menos en los 
aspectosesenciales que he mencionadoen esta presentación. 

• Sin perjuicio de lo anterior, creo también fundamental que una vez 
implementada, la metodología sea sometida a un monitoreo 
sistemático que incluya la posibilidad de introducirle ajustes antes 
de 4 años. La experiencia internacional con sistemas de 
responsabilización basados en pruebas hace altamente 
recomendable esta posibilidad. En consecuencia, es altamente 
deseable que el sistema opere en "marcha blanca" durante los 
primeros años de funcionamiento. 
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Evaluación MOE 

Francisco Gallego 
PUC-Chlle 
J-PAL 


Contexto de los comentarios I 

• Opinión desde mi expertise: 

- PhD en economía MIT 

- Trabajo en investigación empírica en desarrollo económico, pobreza y 
educación principalmente. 

- He enseñado ramos de teoría econométrica 2 de doctorado, de 
desarrollo económico, de políticas sociales (incluyendo educación) y 
de métodos econométricos en pregrado. 

- Implica: 

1. Opiniones en temas de políticas educativas comparadas (instituciones, 
evaluación de impacto, etc.) y de estadísticas. 

2. No tengo respuestas (porque no domino) para todas las dimensiones 
relevantes involucradas en la MOE. 

3. Respuestas académicas son más bien "grises" que de "blanco/negro" 
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Contexto de los comentarios II 

• Definición de calidad educativa (en Contreras y Gallego, 
2013); educación de calidad integral 

• Propuesta de MOE 

- Lo ideal 

- Lo poslble (datos, en tlempo limltado, etc.) 

- ¿Cuán lejos la propuesta de lo (mejor) posible? ¿Alternativa de 
no hacer una propuesta? 

• Consecuencias de la MOE 

- Proceso muy gradual, varios años consecutivos, etc. 

- Instanclas de avlso y apoyo a establecimientos a madres y 
padres y a la sociedad 

• Centro de la mirada: aseguramiento de la calidad educativa 
para l@s n¡ñ@s, especialmente los más pobres. 


Mapa 

• Comentarios (seleccionados) sobre 
dimensiones de la pauta 

• Algunos desafíos a futuro 

• Conclusiones 
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1. Fundamentación teórica y 
empírica, nacional e intemacional 

• Desafío no trivial: 

- Medidas "más amplias" de resultados educativos 

• Domina todo lo disponible hoy en Chile (versus SNED, ED, 
etc.). Ejemplo: OIE, liceosTP, etc. 

• Pondera más fuertemente salir de niveles bajos de 
aprendizajes que ir a los más altos. Clave para la equidad. 

- Reconocer que una parte no menor (pero no todo) de 
estos resultados dependen del contexto social y 
económlco 

• Método correcto (MCO) vs. alternativas (HLM) para el 
problema en cuestión. Simulaciones confirman. 

• Filtros por mínimos y máximos 


1. Fundamentación teórica y 
empírica, nacional e internacional 

1. Claridad en la justificación: 

— Literatura de frontera (ver referencias en mi informe) 

• Relevancia de este tipo de instrumentos de política 

• Es posible mejorar resultados en períodos no tan largos 

• No es evidente que haya efectos negativos en aspectos no tan bien 
medidos. Más bien pueden ser positivos. 

— Detalles de las estimaciones 

2. Controles por el nivel socioeconómico de los estudiantes 

— Dentro de MCO mirar estimadores no-lineales (estimador 
semi-paramétrico sugerido en mi informe) 

— ¿Variables a nivel de escuela y no sólo individual? Resultados 
del informe que no debe ser muy relevante. 

3. Medidas de "otros indicadores" 

— Tema de frontera 
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2. Coherencia externa 

• Bastante logrado 

• Diferentes clasificaciones tienen objetivos 
diferentes y por tanto no tienen por qué proveer 
exactamente los mismos resultados 

-SNED, EDvs MOE 

• Desafío comunicacional 

- Corrección "justa" 

- Determinismo socioeconómico y profecías auto- 
cumplidas 

• Evidencia creciente a favor de modelos de intervenciones 
existosas en contextos de pobreza 


4. Metodología de elaboración 

• Puntos a destacar: 

- Esfuerzo por recolección de datos nuevos (TP, OIE) 

— Puntajes de corte que impliquen que es posible 
mejorar 

- Casos especiales 

• Desafíos: 

- Monitorear los tratamientos de casos especiales 

- ¿Cómo lidiar con escuelas que no tienen datos 
completos? 

• Aspecto operativo y no sustantivo 

• Cuidado con los incentivos perversos 
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5. Características de los estudiantes 

• Toma muy en serio la idea de controlar por 
indicadores de contexto 

- Agrega aspectos nuevos (por ej. entrada de 
alumnos) 

- Modelo MCO vs. alternativas 

• Discusión conceptual y supuestos estadísticos y de 
permanencia del efecto colegio en el tiempo. MUY 
FUERTE 

• Uso en las ciencias sociales: que los datos estén 
anidados no implica que HLM sea el estándar (artículo 
reciente en revista Science). 


5. Características de los estudiantes 

• Algunos desafíos de medición: 

- FPS vs. ingreso del hogar 

- Niños de orígen indígena 

- Otras mencionadas en el informe 
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9. Uso de los resultados 

• Notar que el itinerario legal es bastante 
"largo": espacio para corregir, focalizary 
mejorar. 

• Corrige (mejor que lo disponible en Chile) por 
consecuencias no deseadas 

- Selección de niños 

- Cognitivo vs. otros aspectos 

- Centrarse en mejorar a los niños más capaces 


10. Otros puntos 

• Comunicación 

— Desafío no trivial, especialmente entre los hogares 
de niños más vulnerables. 

• Seguimiento y actualización 
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Conclusiones 

b) Si bien tengo observaciones sobre la 
propuesta, estas no impiden informar 
favorabiemente sobre la misma. 
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